截断与否？循环Transformer截断BPTT的缩放研究
🧭 循环Transformer训练与缩放律
MMLab, The University of Hong Kong · Yale University
拟合统一缩放律发现完整BPTT优于截断，两圈循环用27%少参数和8%多计算达到更低验证损失
📌 工作参考价值（3 点）
- 若在推荐/广告模型中采用共享层块的循环结构以减少参数量，不要为了省显存而截断BPTT；在同等总计算预算下，完整BPTT通过更少前向循环反而效果更好，可优先降低循环次数而非截断反向传播。
- 缩放律表明截断会“折扣”有效参数，因此在估算模型容量或做资源规划时，应把截断后的有效参数而非原始参数纳入考虑，尤其对于参数量敏感的端侧或在线学习场景。
- 当业务强约束参数量（如模型部署在边缘设备），可考虑训练两圈完整BPTT的循环Transformer，比计算最优非循环模型少约27%非embedding参数，且仅需多约8%训练计算，适合参数受限但训练算力相对宽裕的情况。
几乎零成本优化循环Transformer解码
🧭 循环Transformer对比解码优化
Apple
训练无关的LoopCD对比解码，利用循环中间状态引导最终预测，提升推理质量并大幅降低计算量
📌 工作参考价值（4 点）
- 对比解码不依赖额外小模型或微调：可直接复用模型自身不同深度的输出，在 logit 或 hidden state 空间做差值引导。对线上已有 LLM 推理服务，可即插即用地提升生成质量，无需重新训练。
- 隐藏状态空间变体（LoopCD-Hidden）几乎零额外开销：适合对延迟敏感的电商搜索 query 生成、推荐理由生成等场景，无需增加输出层计算，直接对中间 hidden state 做对比。
- 循环 Transformer 架构下可动态调整深度：根据请求复杂度决定循环次数，再用 LoopCD 弥补浅层损失，实现精度与 FLOPs 的 trade-off。对需要弹性算力调度的在线推理系统有参考价值。
- 中间状态作为弱预测的直觉可迁移到其他多阶段推理模型（如 MoE 不同专家输出、多步推理的中间结果），利用“弱-强对比”放大模型确信信号，抑制不确定 token。
如何循环 MoE：摊平专家层、解开注意力
🧭 Looped MoE 架构训练与专家路由 ★ 深度解读
Case Western Reserve University · Kyoto University · NII LLMC
Foil 在固定专家参数与每 token 计算下，通过摊平专家层并给每次循环独立注意力，提升 looped MoE 预训练与路由健康度
📌 工作参考价值（4 点）
- 在固定 expert 参数和每 token 计算预算下，优先采用“浅而宽 + 多轮循环”的 recurrent core，而不是深而窄：把现有 MoE 层合并到更少层、增加每层 expert 数并循环更多次，同等成本通常能拿到更低 LM loss 和更健康路由。
- 循环 block 中不要全程共享 attention：给每个 loop pass 单独 attention 参数，experts/router 继续共享；这几乎不增加推理 compute，但能恢复摊平时丢掉的 attention 参数，训练损失和 zero-shot 均更优。
- 监控 MoE 路由不能只看 load balance：可加 MMR（router 第一名 vs 池中位数概率比）和 per-pass MMR peak；MMR 见顶后继续 flatten/循环收益最弱，适合做架构搜索早停或上线前诊断。
- 做小规模架构 ablation 时，可先用 tied attention 探索循环轮数，因为加 passes 不增加参数；但最终生产配置应切换为 per-pass attention。低流量 expert 不等于无用，不要仅按流量直接裁剪。
自适应循环 Transformer 提升测试时扩展效率
🧭 自适应循环 Transformer 的测试时缩放
Tsinghua University · Yale University
提出 TaH2 自适应循环 Transformer，通过前瞻深度监督让模型仅对收益 token 增加迭代，测试时计算斜率提升 53%
📌 工作参考价值（4 点）
- 在 LLM 推理服务中（如搜索 query 改写、商品卖点生成、推荐理由），可采用 TaH2 的自适应计算思路：训练一个轻量 iteration decider，对简单 token 少迭代、困难 token 多迭代，同等精度下可显著降低 decode FLOPs，适合降低电商场景的推理成本与延迟。
- lookahead depth supervision 的在线标签方法可迁移到动态路由/级联模型：判断“继续计算是否能提升预测”来训练 router，例如 MoE 中选择专家数、广告出价/策略分析中的多步推理是否继续，避免固定深度浪费。
- 该后训练方案不改变 backbone 结构，只加轻量 decider 并进行联合微调，适合对已部署的 7B/13B 模型做后训练优化，快速验证收益；对需要高精度推理的任务（如商品属性逻辑校验、A/B 分析）尤其值得尝试。
- 结论提示：全局固定深度 loop 在最大深度增加时会饱和，而自适应分配能让增益持续增长；在 Agent 多步推理中，可以按 token 难度动态分配思考步数，减少低效 rollout 的算力消耗。
Nanbeige4.2-3B：紧凑模型中解锁通用智能体能力
🧭 紧凑通用智能体模型 ★ 深度解读
Nanbeige Lab · Boss Zhipin
3B参数的紧凑模型在代码、办公、工具使用等智能体任务上全面超越9B/12B模型，同时保持强推理能力
📌 工作参考价值（5 点）
- 多阶段 RLHF 通用化：先对 Think/Non-Think 响应混合 RLHF，能跨任务、跨模式减少循环生成与格式错误，提升推理与智能体任务的稳定性。可用于电商对话/操作型 Agent 的异常输出抑制。
- 长度控制推理 RL：离线建立长度预算+难度感知惩罚，鼓励简洁推理，可适配推荐解释或搜索推理链的延迟约束，平衡效率与效果。
- 行动级过程奖励：在 Agentic RL 中为工具调用准确性、信息增益设计逐步骤 rubrics 作为过程奖励，提供密集反馈，可迁移至交互式推荐 Agent 的长程训练，稳定多步规划。
- 混合环境数据合成：组合真实 MCP 服务、Python 可执行接口和 LLM 模拟工具，扩大轨迹多样性。电商搜索推荐系统可借鉴构建高覆盖率的仿真环境，低成本生产高质量多轮交互数据。
- Turn-level loss masking：仅对正确回合计算损失但保留错误上下文，适合训练多轮对话推荐，避免学习错误行为的同时利用完整语境恢复。
Loopie：循环MoE Transformer超越普通模型的计算匹配扩展法
🧭 层循环MoE架构 · 计算匹配预训练扩展 ★ 深度解读
IQuest Research
提出层循环MoE架构与计算匹配扩展方案，在相同预训练计算量下首次超越非循环大模型。
📌 工作参考价值（4 点）
- 层循环(layer-loop)设计：逐层迭代再传递，降低激活内存，允许更大micro batch。可迁移到推荐系统中特征交互或序列建模的深层Transformer，在内存受限时用循环换取有效深度。
- 计算匹配扩展方法：从参考模型先减层加循环，内存节省后增大batch size，再投资到宽度上。在业务中可按此思路在给定推理预算下最大化模型容量，尤其适合电商搜索粗排/精排模型的轻量化设计。
- 监督预训练(SPT)：用预训练尺度（大批量、长序列、多轮次）做有监督微调，同时提升通用知识和推理能力，避免灾难性遗忘。可借鉴到业务LLM适配，用大规模业务数据做SPT保持基座能力。
- 循环推理与RL结合：多步循环为推理提供了迭代优化空间，配合分组序列策略优化(GSPO)提升复杂任务规划。可启发Agent在多步决策中引入内循环推理，增强长期规划能力。
深度循环：面向环式 Transformer 的深度缩放方法
🧭 环式 Transformer 深度缩放
Princeton University · University of California, Los Angeles
针对环式 Transformer 参数共享提出新的残差缩放规则，将 DeepNorm 指数从 1/4 提升到 1/2 以保证稳定训练
📌 工作参考价值（3 点）
- 在推荐模型的深度序列编码器（如使用共享层堆叠的 SASRec 变体）中，若采用多轮循环以扩展感受野而不增加参数，可直接套用 DeepLoop 的 α、β 缩放公式，避免因参数重复访问导致的训练不稳定。
- 对于生成式推荐中基于环式 Transformer 的序列生成解码器，该缩放规则保证长循环深度下的梯度更新平衡，使更深的推理计算（test-time compute）成为可行，从而提升生成质量。
- 在资源受限设备上部署大容量推荐模型时，可利用环式结构压缩参数存储，同时通过深度循环实现深度计算扩展，DeepLoop 提供了训练稳定性保障。
LoopCoder-v2：仅一次循环实现高效测试时计算扩展
🧭 并行循环Transformer · 增益-成本权衡
Beihang University · IQuest Research · Langboat · Renmin University of China
并行循环Transformer仅循环两次即达最优，平衡表征增益与位置偏移代价
📌 工作参考价值（4 点）
- 在Agent/工具调用场景中，可借鉴并行循环Transformer设计，通过共享KV缓存的滑动窗口注意力与跨循环位置偏移，在不显著增加显存的前提下实现测试时计算扩展。
- 循环次数并非越多越好：实验发现2次循环是最优的，再增加循环收益递减甚至退化；在推荐/搜索Agent的迭代推理中，建议通过诊断（表征多样性、更新幅度）确定最佳推理轮次，避免盲目堆叠。
- 跨循环位置偏移引入的边界失配是固定代价，当表征精炼增益缩小时会成为主导；在设计迭代式推荐模型（如循环精炼用户/物品表示）时，需权衡每次迭代的增益与固定结构偏差。
- 若要将循环机制用于电商生成式推荐或搜索，可尝试用一个共享的Transformer块多次循环生成候选物品的Semantic ID，并监控循环间的表征振荡，在2次循环附近寻找性能甜区。